Bridging the Structural Gap: Adapting Autoregressive Generation for Recommendation
弥合结构鸿沟:适配自回归生成的推荐系统
🧭 生成式推荐 · 语义ID结构优化 ★ 深度解读
Tencent · Shenzhen University · Sun Yat-sen University
通过恢复 item 边界、路径重排与双路解码,缓解生成式推荐中的语义漂移
📌 工作参考价值(4 点)
- ICA 模块可直接插入现有 Transformer 编码器前,通过可学习 query 做跨注意力得到 item 上下文,再用可训练门控融合回 token 序列,几乎无额外参数开销,能有效恢复被扁平化破坏的 item 边界信号。
- HPR 是一种轻量级、无需标签的路径重排方案:用解码器初始隐状态作为用户意图锚点,与累积路径嵌入做对比学习,训练后仅在 beam search 每层重排 top-N 候选,不增大 beam width,可直接迁移到任何基于分层 codebook 的自回归生成管线。
- DPD 的 OSQ‑VAE 通过可学习正交旋转将嵌入空间拆成两个互补子空间,形成双通道语义 ID;配合双解码器 + OR 融合,在 recall 阶段以极低成本获得显著互补增益,尤其适合大规模 item 库中长尾与冷启 item 的召回增强。
- 代码本采用「前大后小」的递减配置 (512,256,128,64) 且全部可学习,省去随机碰撞 ID,既保证粗粒度分类的容量,又控制总参数,适合工业级部署;推理时双路 beam search 并行,延迟与单路基本持平。